import os

cmd = """
python -m vllm.entrypoints.openai.api_server \
--model '/root/autodl-tmp/Qwen2.5-VL-7B-Instruct' \
--dtype float16 \
--max-model-len 4096 \
--gpu-memory-utilization 0.95 \
--served-model-name qwen-vl \
--host 0.0.0.0 \
--port 6006 \
--trust-remote-code"""

os.system(cmd)